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(57) Abstract: The invention relates to a method for the transmission of audio signals between a transmitter and at least one re- 
ceiver according to the prioritizing pixel transmission method. The audio signal is initially broken down into a number of spectral 
fractions. The broken down audio signal is stored in a two-dimensional array with a plurality of fields, frequency and time being the 
dimensions and amplitude being the value to be registered in the field. Groups are then formed from said individual fields and a pri- 
ority is assigned to the individual groups, wherein the higher the amplitudes of the group values are and/or the higher the amplitude 
differences of the values of one group are and/or the closer the groups are to the actual time, the priority of a group will be higher. 
Finally, the groups are transmitted to the receiver according to their order of priority. 

(57) Zusammenfassung: Die Erfindung betrifft ein Verfahren zur Obertragung von Audiosignalen zwischen einem. Sender und 
mindestens einem Empfanger nach.dem Verfahren der priorisierenden Pixelubertragung. Zuhachst wird das Audiosignal in eine 
Anzahl h von spektralen Anteilen zerlegL Das zerlegte Audiosignals wird in einem zweidimensionalen Array mit einer Vielzahl 
von Feldem gespeichert, mit Frequenz und Zeit als Dimensionen und der Amplitude als jeweils einzutragenden Wert im Feld. Darin 
werden aus jedem einzelnen Feld und mindestens zwei zu diesem Feld benachbarten Feldem des Arrays Gruppen gebildet, und den 
einzelnen Gruppen eine Prioritat zugeordnet, wobei die Prioritat einer Gruppe umso grSBer gewahlt wird, je grQBer die Amplituden 
der.Gruppenwerte sind und/oder je'groBer die Amplitudenunterschiede der Werte. einer Gruppe sind und/oder je naher die Gruppe 
an der aktuelleh Zeit liegt. SchlieBlich werden die Gruppen in der Reihenfolge ihrer Prioritat an den Empfanger ubertragen. 
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VERFAHREN ZUR IBERTRAGUNG VON AUDIO S I GNALEN NACH DEM VERFAHREN DER 
. PRIORISIERENDEN PIXEL I BERTRAGUNG 


Die Erf inciting betrifft ein Verfahren zur Ubertragung von Audiosignalen nach dem 
Verfahren der priorisierenden Pixelubertragung nach dem Oberbegriff des 
Patentanspnjchs 1 . 

Zur Zeit existiert eine Vielzahl verschiedener Verfahren zur komprimierten 
Ubertragung von Audiosignalen. Im wesentlichen existieren folgende Verfahren. 

Reduzi^rung der Abtastrate, z.B. 3 kHz anstelle von 44 kHz 
Nichilineare Ubertragung der Abtastwerte, z.B. bei (SDN Obertragung 
- Benutzung von vorher abgespeicherten Akustiksequenzen, z.B. MIDI Oder 
Stimmnachbildung ■ 

Verwendung von Markov Modellen zur Korreklur von Ubertragungsfehlern 

Die Gemeinsamkeiten der bekannten Verfahren liegen darin, dass auch bei 
niedrigeren Ubertragungsraten eine befriedigende Sprachverstandlichkeit vorhanden 
ist. Dieses wird im wesentlichen durch Mittelwertbilduhgen erreicht. Jedoch ergeben 
unterschiedliche Stimmen der Quelle ahnlich klingende Stimmen in der Senke, so 
dass z^B. Stimmungsschwankungen, die in eihem normalen Gesprach erkennbar 
sihd, nicht mehr ubertragen werden. Dadurch ergibt sich eine deutliche 
Einschrankung in der Kommunikationsqualitat. 

Verfahren zur Komprimierung und Dekomprimierung von Bild- oder Videodaten 
mittels priorisierter Pixelubertragung sind in den deutschen Paterrtanmeldungen DE 
101 13 880.6 (entspricht PCT/DE02/00987) und DE 1 01 52 612,1 (entspricht 
PCT/DE02/00995) beschrieben. Bei dieseri Verfahren werden z.B. dfgttale Bild- oder 
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Videpdaten bearbeitet, die aus einem Array einzelner Bildpunkte (Pixel) 
bestehen, wobei jedes Pixel einen sich zeitlich verandernden Pixelwert aufweist, 
der Farb-.oder Helligkeitsinformation des Pixels beschreibt. ErfindungsgemaB 
wird jedem Pixel bzw. jeder Pixelgruppe eine Prioritat zugeordnet und die Pixel 
entsprechend ihrer Priorisierung in einem Prioritatenarray abgelegt. Dieses 
Array enthalt zu jedenn Zeitpunkt, die nach der Priorisierung sortierten 
Pixelwerte. Entsprechend der Priorisierung werden diese Pixel, und die fur die 
Berechnung der Priorisierung benutzten Pixelwerte, ubertragen bzw. 
abgespeichert. Ein Pixel bekommt eine hohe Prioritat, wenn die Unterschiede zu 
seinen benachbarten Pixel sehr groB sind. Zur Rekonstruktion werden die 
jeweils aktuellen Pixelwerte auf dem Display dargestellt. Die noch nicht 
ubertragenden Pixel werden aus den schon ubertragenden Pixel berechnet. 
Diese Verfahren lassen sich prinzipiell auch fur eine Ubertragung von Audiosignalen 
venvenden. 

Die Aufgabe der Erfindung besteht deshalb darin, ein Verfahren zur Obertragung von 
Audiosignalen anzugeben, das auch bei niedrigen Obertragungsbandbreiten 
moglichst verlustf rei arbeitet. 

Diese Aufgabe wird erfindungsgemaB durch die Merkmale des Patentanspruchs 1 
gelost. 

GemaB der Erfindung wird das Audiosignal zunachst in eine Anzahl n von spektralen 
. Anteilen zerlegt. Das zerlegte Audiosignals wird in einem zweidimensionalen Array 
mit einer Vielzahl von Feldem gespeichert, mit Frequenz und Zeit als Dimensionen 
und der Amplitude als jeweils einzutragenden Wert im Feld. Dann werden aus jedem 
einzelnen Feld und mindestens zwei zu diesem Feld benachbarten Feldern des 
Arrays Gruppen gebildet, und den einzelnen Gruppen eine Prioritat zugeordnet, 
wobei die Prioritat einer Gruppe umso groBer gewahlt wird, je groBer die Amplituden 
der Gruppenwerte sind und/oder je gr5Ber die Amplitudehunterschiede der Werte 
einer Gruppe sind und/oder je naher die Gruppe an der aktuellen Zeit liegt. 
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SchlieBlich werden die Gruppen in der Reihenfolge ihrer Prioritat an den Empfanger 
ubertragen. 

Das neue Verfahren beruht Im wesentlichen auf den.Grundlagen von Shannon. 
Demnach lassen sich Signale verlustfrei ubertragen, wenn man sie mit der doppelten 
Frequenz abtastet. Das bedeutet, dass der Schall in einzelne Sinusschwingung 
unterschiedlicher Amplitude und Frequenz zerlegbar ist. Demnach lassen sich 
akustische Signale eindeutig durch Obertragung der einzelnen Frequenzanteile, 
inklusive der Amplituden und Phasen, ohne Veriuste wieder herstellen. Hierbei wird 
auch insbesondere ausgenutzt, dass die haufig vorkommenden Schallquellen, z.B. 
Musikinstrumente, menschliche Stimme, aus Resonanzkdrpem bestehen, deren 
Resonanzfrequenz sich nicht bzw. nur langsam andert. 

Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den 
abhangigen Patentanspruchen angegeben. 

Ein Ausfuhrungsbeispiel der Erfindung wird nachfolgen beschrieben. Hierbei sei 
insbesondere auch auf die Beschreibung und die Zeichnungen der alteren 
Patentanmeldungen DE 101 13 880.6 und DE 101 52 612.1 Bezug genommen. 

Zunachst wird der Schall auf genommen, in elektrische Signale umgewandelt und in 
seine Frequenzanteile zeriegt. Dieses kahn entweder durch FFT (Fast-Fourier 
Transformation) Oder durch n-einzelne frequenzselektierende Filter geschehen. 
Werden n-einzelne Filter venwendet, so nimmt jeder Filter nur eine einzelne 
Frequenz, bzw. ein schmales Frequenzband, auf (ahnlich den Harchen im 
menschlichen Ohr). Somit hat man zu jedem Zeitpunkt die Frequenz, und den 
Amplitudenwert bei dieser Frequenz. Dabei kann die Zahl n entsprechend der 
Endgerateeigenschaften unterschiedliche Werte annehmen Je groBer n ist, desto 
besser kann das Audiosignal reproduziert werden. Somit ist n ein Parameter mit dem 
die Qualitat der Audioubertragung skaliert werden kann. 
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Die Amplitudenwerte werden in den Feldem eines 2-dimensbnalen Arrays 
zwischengespeichert. 

Dabei entspricht die erste Dimension des Arrays der Zeitachse und die zweite 
Dimension der Frequenz. Damit ist jeder Abtastwert mit jeweiliger Amplitudenwert 
und Phase eindeutig bestimmt und kann im zugeordneten Feld des Arrays als 
Imaginare Zahl abgespeichert werden. Das Sprachsignal wird somit in drei 
akustischen Dimensionen (Parametem) im Array dargestellt: Die Zeit z.B. in 
Miilisekunden (ms), perzeptiv als Dauer wahrgenommen, als die erste Dimension des 
Arrays, die Frequenz in Hertz (Hz), perzeptiv als Tonhohe wahrgenommen, als die 
zweite Dimension des Arrays und die Energie (bzw. Intensitat) des Signals, perzeptiv 
als Lautstarke bzw. Intensitat wahrgenommen, welche als Zahlenwert im 
entsprechenden Feld des Arrays gespeichert wird. 

Im Vergleich zu den Anmeldungen DE 101 13 880.6 und DE 101 52 612.1 entspricht 
z.B. die Frequenz der Bildhohe, die Zeit der Bildbreite und die Amplitude des 
Audiosignals (Intensitat) dem Farbwert. 

Ahnlich dem Verfahren der Priorisierung von Pixelgruppen bei der 
BildA/ideokodierung werden aus benachbarten Werten Gruppen gebildet und diese 
priorisiert. Jedes Feld fur sich betrachtet bildet zusammen mit mindestens einem, 
vorzugsweise jedoch mehreren benachbarten Feldem eine Gruppe. Die Gruppen 
bestehen aus dem Positionswert, definiert durch Zeit und Frequenz, dem 
Amplitudenwert am Positionswert, und die Amplitudenwerte der umliegenden Werte 
entsprechend einer vorher festgelegten Form (siehe Figur 2 der Anmeldungen DE 
101 13 880.6 und DE 101 52 612.1). Dabei bekommen insbesondere diejenigen 
Gruppen eine sehr hohe Prioritat, die nahe der aktuellen Zeit liegen, und/oder deren 
Amplitudenwerte im Vergleich zu den anderen Gmppen sehr groB sind und/oder bei 
denen sich die Amplitudenwerte innerhalb der Gruppe stark voneinander 
unterscheiden. Die Pixelgaippenwerte werden absteigend sortiert und in dieser 
Reihenfolge gespeichert bzw. ubertragen. 

Die Breite des Arrays (Zeitachse) besitzt vorzugsweise nur eine begrenzte 
Ausdehnung (z.B. 5 Sekunden), d.h. es werden immer nur Signalabschnitte von z.B. 
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5 Sekunden Lange verarbeitet. Nach dieser Zeit (z;B. 5 Sekunden) wird das Array 
mit den Werten des nachfolgenden Signalabschnitts geful.lt. 

Entsprechend der oben beschriebenen Priorisierungsparameter (Amplitude, zeitnahe 
Position und Amplitudenunterschiede zu benachbarten Werten) werden die Werte 
der einzelnen Gruppen im Empfanger empfangen. 

Beim Empfanger werden die Gruppen wieder in ein entsprechendes Array 
eingetragen. Entsprechend der Patentanmeidungen DE 101 13 880.6 und DE 101 52 
612.1 kann dann aus den ubertragenden Gruppen wieder die dreidimensionale 
Spektraldarstellung erzeugt werden. Je mehr Gruppen empfangen wurden, umso 
genauer wird die Rekonstruktion. Die noch nicht ubertragenen Arraywerte werden 
mittels Interpolation aus den schon ubertragenden Arraywerten berechnet. Aus dem 
so erzeugten Array wird dann im Empfanger ein entsprechendes Audiosignal 
generiert, welches dann in Schall umgewandelt werden kann. 
Zur Synthese des Audiosignals konnen z.B. n Frequenzgeneratoren verwenden 
werden, deren Signale zu einem Ausgangssignal addiert werden. Durch diesen 
parallelen Aufbau von n Generatoren ist eine gute Skalierbarkeit gegeben. Zudem 
kann die Taktrate durch parallele Verarbeitung drastisch reduziert werden, so das 
durch ein geringeren Energieverbrauch die Wiedergabezeit bei mobilen Endgeraten 
erhoht wird. Fur den parallelen Einsatz konnten z.B. FPGA's oder ASIC's einfacher 
Bauart benutzt werden. 

Das beschriebene Verfahren ist nicht auf Audiosignale beschrankt. Das Verfahren 
kann insbesondere uberall dort effektiv zur Anwendung kommen, wo mehrere 
Sensoren (Schallsensoren, Lichtsensoren, Tastsensoren, usw.) verwendet werden, 
die kontinuierlich Signale messen, die dann in einem Array (n-ter Ordnung) 
dargestellt werden konnen. 

Die Vorteile gegenuber bisherigen Systemen liegen in derflexiblen Einsetzbarkeit bei 
erh6hten Kdmpressionsraten. Durch Benutzuhg eines Arrays, welches aus 
unterschiedlichen Quellen gespeist wird, erhalt man automatisch eine 
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Synchronisation der unterschiedlichen Quellen. Eine entsprechende Synchronisation 
muss bei herkommlichen. Verfahren durch besondere Protokolle, bzw. MaBnahmen 
gesichert werden. Insbesondere bei Videoubertragung mitgroBen Laufzeiten, z.B. 
Satellitenverbindungen, wo Ton und Bild uber verschiedene Kahale ubertragen 
werden, fallt haufig einefehlende Synchronisation der Lippen zu der Sprache auf. So 
etwas kann durch das beschriebene Verfahren beseitigt werden 

Da das gleiche Grundprinzip der priorisierenden Pixelgruppenubertragung sowohl bei 
Sprache, Bild und Videoubertragung genutzt werden kann, ist ein starker 
Synergieeffekt bei der Implementierung nutzbar. AuBerdem kann auf diese Weise 
eine einfache Synchronisation zwischen Sprache und Bildem erfolgen, AuBerdem 
konnte beliebig zwischien Bild- und Audioauflosung skaliert werden. 

Betrachtet man eine einzelne Audioubertragung nach dem neuen Verfahren, so 
ergibt sich bei Sprache eine naturlichere Wiedergabe, da die fur jeden Menschen 
typischen Frequenzanteile (-gruppen) mit hochster Prioritat und damit verlustf rei 
ubertragen werden. 
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Patentanspruche 

1 . Verfahren zur Obertragung von Audiosignalen zwischen einem Sender und 
rnindestens einem Empfanger.nach dem Verfahren der priorisierenden 
Pixelubertragung, 
gekennzeichnet durch die Schritte: 

a) Zerlegen des Audiosignals in eine Anzahl n von spektralen Anteilen, 

b) Speichern des zerlegten Audiosignals in einem zweidimensionalen Array mii 
einer Vielzahl von Feldem, mit Frequenz und Zeit als Dimensionen und der 
Amplitude als jeweils einzutragenden Wert im Feld, 

c) Bilden von Gruppen aus jedem einzelnen Feld und rnindestens zwei zu 
diesem Feld benachbarten Feldem des Arrays, 

d) Zuordnen einer Prioritat zu den einzelnen Gruppen, wobei die Prioritat einer 
Gruppe umso groBer wird, je groBer die Amplituden der Gruppenwerte sind 
und/oder je groBer die Amplttudenunterschiede der Werte einer Gruppe sind 
und/oder je naher die Gruppe an der aktuellen Zeit liegt, und 

e) Obertragen der Gruppen in der Reihenfolge ihrer Prioritat an den Empfanger. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das gesamte 
Audiosighal als Audiodatei vorliegt und als Ganzes bearbeitet und Obertragen 


3. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass nur jeweils ein Teil 
des Audiosignals bearbeitet und Obertragen wird. 


wird. . 


4. Verfahren nach einem der Anspruche 1 bis 3, dadurch gekennzeichnet, dass das 
Audiosignal mittels FFT in seine spektralen Anteile zerlegt wird. 
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5. Verfahren nach einem der Anspruche 1 bis 3, dadurch gekennzeichnet, dass das 
Audiosignal durch eine Anzahl n von frequenzselektierenden Rltem in seine 
spektralen Anteile zerlegt wird. 

6. Verfahren nach einem der Anspruche 1 bis 5, dadurch gekennzeichnet, dass im 
Empfanger die nach ihrer Prioritat ubertragenen Gruppen einem entsprechenden 
Array zugeordnet, wobei die noch nicht ubertragenen Werte des Arrays aus den 
bereits vorhandenen Werten durch Interpolation berechnet werden. 


7. 


Verfahren nach einem der Anspruche 1 bis 6, dadurch gekennzeichnet, dass aus 
den im Empfanger vorliegenden und berechneten Werten ein elektrisches Signal 
generiert und in ein Audiosignal urngewandelt wird. 


*4» 
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